樂山歷史悠久,遠在3000多年前的巴蜀時代,曾是蜀王開明部族的故都。公元前四世紀秦滅巴蜀,樂山隸屬於蜀郡,因在成都的南面,故定名南安。
漢代將南安隸屬於犍為郡。南北朝時期,因戰亂不斷,樂山地區的建制屢有變遷。北周置嘉州,取“郡土嘉美”之意。隋朝隋置眉山郡。原南安縣改名龍游縣,傳說是隋朝軍隊從成都乘船向樂山進軍、追擊陳國敗兵時,岷江中有游龍導航,幫助隋朝軍隊統一天下,因此改南安為龍游。唐復嘉州,眉州。
宋朝改嘉州為嘉定府;元代改為嘉定路;明代改為嘉定州;清雍正十二年(1734年)升嘉定州為嘉定府,並在府治置樂山縣,取“城西南五里有‘至樂山’”為名,改龍游縣為樂山縣,“樂山”之名沿用至今。
中華民國廢州府,治地設樂山行政督察專員公署。中華人民共和國設樂山專員公署。1978年樂山縣與五通通橋區合併改為樂山市(縣級),仍隸屬於樂山地區。